Madrasah Aljunied terletak bersebelahan Tanah Perkuburan Jalan Kubor yang bersejarah.

Madrasah Aljunied merupakan madrasah kedua tertua di Singapura selepas Madrasah Alsagoff. Ia diasaskan pada tahun 1927 oleh seorang dermawan, Syed Abdul Rahman Aljunied. Bangunan asal dua tingkat sekolah ini terletak di sebidang tanah seluas 4.4 hektar. Bangunan baru itu, bagaimanapun, terletak di tanah hanya seluas 0.52 hektar. [1]

Pengasasnya, Syed Abdul Rahman Aljunied, memerhatikan bahawa Syed Abu Bakar bin Taha Alsagoff adalah calon yang paling layak untuk jawatan Mudir (Guru Besar). Syed Abu Bakar bersetuju namun meletakkan dua syarat, iaitu: bahasa Arab dijadikan bahasa pengantar; dan sistem pendidikan dan pedagoginya mestilah moden.[2]

Syarat Syed Abu Bakar diterima dengan baik, dan beliau mengurus Madrasah dengan penuh berdisiplin sebagai Mudir dari tahun 1927 hingga 1955.[3]

Selama bertahun-tahun, pencapaian Madrasah Aljunied sebagai institusi pendidikan Islam unggul di Asia Tenggara semakin kukuh.[2] Ada catatan menyatakan bahawa Syed Abu Bakar membenarkan sebahagian rumahnya di Jalan Jawa dijadikan tempat penginapan percuma untuk para pelajar.